还在想办法提升人脸防伪泛化吗？仅靠人脸系统现有知识即可让性能大幅提升

©PaperWeekly 原创 · 作者 | 张文天

单位 | 深圳大学计算机视觉所

研究方向 | 人脸防伪

在人脸识别系统中，通常会在人脸识别模块之前设置一个独立的人脸防伪模块，用于保障系统安全性。由于真实场景中的人脸伪造攻击的方式多种多样，无法全面收集，这种高度依赖于有限训练集的学习型方法很难对所有攻击方式进行预测，不能有效地推广到未知的攻击中。

与人脸防伪任务不同，其他人脸相关任务（例如人脸识别和属性编辑），由于通过大量真实人脸的训练，对不同场景的应用具有很强的泛化能力。受此启发，本文工作提出在人脸系统中更换人脸防伪模块和人脸相关任务的位置，把人脸相关任务中免费获得的先验知识服务于人脸表征攻击检测任务，从而提高其泛化性能。

论文标题：

Effective Presentation Attack Detection Driven by Face Related Task

作者单位：

深圳大学（SZU），阿卜杜拉国王科技大学（KAUST），挪威科技大学（NTNU）

收录会议：

ECCV 2022

论文主页：

https://wentianzhang-ml.github.io/pad/

开源代码：

https://github.com/WentianZhang-ML/FRT-PAD

背景

人脸识别技术凭借其方便快捷和无接触认证的优点，广泛应用于身份验证应用。但是现有人脸识别技术在人为的表征攻击（presentation attacks, PAs）下极其脆弱，例如使用照片、视频回放、低成本人造面具和面部化妆攻击就可以轻易欺骗人脸识别算法。同时，随着互联网和社交软件的发展，人脸图像可以很容易地获取，这进一步增加了人脸识别系统被攻击的风险。这些问题引起了人们对面部识别技术安全性的广泛关注。

为解决上述问题，现有方案往往使用一个单独的表征攻击检测（即人脸防伪）模块，在识别前检测输入数据是否为攻击数据（PAs）或真实人脸数据（Bona fides），来提高系统的安全性。

动机

人脸防伪模块往往需要数量相当的攻击样本和真实人脸进行训练。但是，攻击样本的种类多种多样，很难全面收集，导致训练数据中二者分布不平衡。现有检测算法高度依赖于有限的训练集，无法对未知的表征攻击实现良好的泛化和推广。如图1(a)所示，在传统的人脸系统中，现有的人脸防伪模块（PA Detector）总是出现在人脸相关任务之前，并且相互独立。

与人脸表征攻击检测任务不同，基于人脸的其他常见相关任务（例如，人脸识别和属性编辑）具有强大的泛化能力，因为它们是由大量（数百万）跨性别、年龄和种族的人脸数据训练的。然而，研究人员很少在人脸系统中将人脸防伪算法与人脸相关任务联系起来。由于人脸相关任务已经被训练，我们认为在人脸系统中，将免费获得的人脸相关任务的先验知识服务于人脸表征攻击检测任务，应该会提升其泛化性能。

如图 1（b）所示，我们直接在人脸系统中把训练好且参数固定的人脸相关任务模型得到的特征用于人脸表征攻击检测，使其在真实场景中得到更泛化的推广。

▲ 图1. 传统人脸系统使用表征攻击检测器（a）和本文所提方案（b）示意图。

贡献

团队提出了一种利用人脸相关任务的特征级先验知识的表征攻击检测方法。首先，我们交换了表征攻击检测（人脸防伪）模块和人脸相关任务在人脸系统中的位置。从人脸相关任务中直接获得的任务特定特征包含丰富的泛化知识，通过使用基于图神经网络（GNN）的跨模态适应器，将任务特定特征重新映射并使其适应 PAD 任务。本文所提方法通过缓解训练中攻击样本有限的问题，最终提高了模型的泛化能力。

算法细节

如图 2 所示，所提出方法由两个分支组成，包括基于 CNN 的 PA 检测器和一个辅助分支。PA 检测器通过直接从图像空间中提取特征来区分攻击样本和真实人脸之间的差异。辅助分支旨在从训练好的人脸相关任务模型中提取人脸相关特征。

在辅助分支中，我们首先从人脸相关任务模型的多个网络层中分层地获得任务特定特征（Task Specific Features）。然后，我们设计了一个基于 GNN 的跨模态适应器，以适应 PAD 任务。来自两个分支的特征将被完全融合输入到分类器中，用于最终的 PAD。

▲ 图2. 本文所提基于人脸相关任务的 PAD 方法（FRT-PAD）框架图。

设 为训练集中的人脸数据， 为通过人脸相关任务训练完成的网络（权重在训练中保持不变）。如图2所示， 将 编码到任务特定特征 ，其中 是指从第 层提取的特征图。

▲ 图3. 跨模态适应器（Cross-Modal Adapter）流程图。

由于 在训练中权重不更新，为减少特征 可能包含与 PAD 任务不相关的信息，我们提出了一种跨模态适应器重新映射特征到 PAD 任务中。考虑到任务特定的特征是非结构化的，我们采用图神经网络，记为 来，处理任务特定特征 。 表示图的顶点特征。 是连接相邻顶点的图的边缘矩阵，由公式（1）给出：

给定两个图顶点 和 ， 表示它们之间存在无向边。为了在 中正确构建相邻 顶点，需要利用 之间的关系。由于 是由 逐层提取的，因此任务特定特征 可以作为一个序列执行。我们提出了两种潜在的的图结构以探究 的合理利用，分别为 Step-by-Step Graph 和 Dense Graph，如图 3 所示。

然而，矩阵 E 只能反映每个 的连接，不同 的重要程度未知。因此，我们采用图注意力神经网络（GAT）来找出相邻顶点对中心顶点的贡献。更重要的顶点特征将获得更大的权重。连接图顶点的相对权重可以通过以下公式计算：

其中 为共享注意力参数。共享可学习的权重矩阵 用于实现图卷积运算，其可以将每个顶点 映射到高维度特征。 代表图顶点 V 的注意力矩阵。然后，我们使用 softmax 对 归一化：

给定两个相连顶点点 和 ， 和 衡量它们之间的连接强度系数。对于一层注意力网络，可以获得具有注意力权重的顶点特征为：

对于 Step-by-Step Graph，两个图顶点 和 通过单个边顺序连接。在 Dense Graph 中，不同的图顶点是完全连接的。通过多层图嵌入 ，得到变换特征 。我们将潜层特征视为增强 表征的注意力权重。通过平均池化运算以及 ，可以计算潜层特征的注意力权重 。最终人脸相关特征 。

为了在人脸 PAD 任务中引入人脸相关特征，本文使用 PA 检测器 来学习 PAD 特征 。然后，通过将 PAD 特征 和人脸相关特征 拼接起来得到分层特征 。在分类器 中输入 ，就可以有效地区分真实人脸和表征攻击样本。在训练过程中，、 和 通过交叉熵进行如下训练：

实验评估

1）数据集：

OULU-NPU (O)、CASIA-FASD (C)、Idiap Replay-Attack (I)、MSU-MFSD (M)

2）评估指标：

Half Total Error Rate (HTER),
Area Under Curve (AUC),
Bona Fide Presentation Classification Error Rate (BPCER) (when Attack Presentation Classification Error Rate is 1%)

3）基于人脸相关任务的PAD性能对比：

本文使用以下五种不同的常见人脸相关任务模型作为辅助分支网络 ：人脸识别（Face Recognition, ），人脸表情识别（Face Expression Recognition, ），人脸检测（Face Detection, ），人脸定位（Face Localisation, ），人脸属性编辑（Face Attribution Editing, ）。

如表1所示，不同的人脸相关任务都可以显著提升 PA 检测器（Baseline）的检测性能。例如， 为人脸属性编辑模型时，所提方法在使用 C, I 数据集训练，O, M 数据集测试中的 HTER 仅为 13.18%，AUC 可以达到 94.36%。

▲ 表1. FRT-PAD使用不同人脸相关任务时的性能。

4）与SOTA方法的性能对比

如表2所示，在三个数据集作为训练集，剩余一个数据集作为测试集时，本文方法可以取得 SOTA 效果。其中，使用 O, C, I 数据集训练，M 测试时，本文方法 HTER 可以达到 5.71%，显著提升了 PAD 性能。

▲ 表2. 三个数据集作为训练集时的跨数据集PAD性能对比。

为增加实验难度，我们减少训练集数量，仅使用两个数据集作为训练集，剩余一个作为测试集。如表 3 所示，本文方法仍然可以达到 SOTA 效果。

▲ 表3. 两个数据集作为训练集时的跨数据集PAD性能对比。

我们认为上述实验验证了本文方法与训练所需数据的依赖程度较低，并且本文方法可以有效增强 PAD 模块的泛化性能。

可视化结果

▲ 图4. 在CASIA-FASD数据集上的Grad-CAM可视化结果。

我们进一步使用 Grad-CAM 对本文 FRT-PAD 模型中 PA 检测器 和三种人脸相关任务网络 得到的特征图进行可视化。跨模态适应器使用 Step-by-Step Graph。如图 4 所示，当使用人脸相关特征时，该模型可以找到 Bona fide 样本和 PA 样本的辨别特征。在从 获得的可视化区域中，显示头发、眼睛、鼻子和嘴巴对于区分真实人脸和表征攻击十分重要。这进一步表明了人脸相关任务特征的有效性。

更多阅读

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：[e-mail] 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

·